最佳运输(OT)理论下潜许多新兴机器学习(ML)方法现在解决了各种任务,例如生成建模,转移学习和信息检索。然而,这些后者通常会在传统的OT设置上具有两个分布,同时留下更一般的多边缘OT配方,稍微探索。在本文中,我们研究了多边缘OT(MMOT)问题,并通过促进关于耦合的结构信息,统一其伞下的几种流行的OT方法。我们表明将这种结构信息结合到MMOT中,在允许我们在数值上解决它的不同凸(DC)编程问题的实例。尽管后一级的计算成本高,但DC优化提供的解决方案通常与使用当前采用的优化方案获得的解决方案一样定性。
translated by 谷歌翻译
Non-linear state-space models, also known as general hidden Markov models, are ubiquitous in statistical machine learning, being the most classical generative models for serial data and sequences in general. The particle-based, rapid incremental smoother PaRIS is a sequential Monte Carlo (SMC) technique allowing for efficient online approximation of expectations of additive functionals under the smoothing distribution in these models. Such expectations appear naturally in several learning contexts, such as likelihood estimation (MLE) and Markov score climbing (MSC). PARIS has linear computational complexity, limited memory requirements and comes with non-asymptotic bounds, convergence results and stability guarantees. Still, being based on self-normalised importance sampling, the PaRIS estimator is biased. Our first contribution is to design a novel additive smoothing algorithm, the Parisian particle Gibbs PPG sampler, which can be viewed as a PaRIS algorithm driven by conditional SMC moves, resulting in bias-reduced estimates of the targeted quantities. We substantiate the PPG algorithm with theoretical results, including new bounds on bias and variance as well as deviation inequalities. Our second contribution is to apply PPG in a learning framework, covering MLE and MSC as special examples. In this context, we establish, under standard assumptions, non-asymptotic bounds highlighting the value of bias reduction and the implicit Rao--Blackwellization of PPG. These are the first non-asymptotic results of this kind in this setting. We illustrate our theoretical results with numerical experiments supporting our claims.
translated by 谷歌翻译
我们提出了一种使用一组我们称为神经基函数(NBF)的神经网络来求解部分微分方程(PDE)的方法。这个NBF框架是POD DeepOnet操作方法的一种新颖的变化,我们将一组神经网络回归到降低的阶正合成分解(POD)基础上。然后将这些网络与分支网络结合使用,该分支网络摄入规定的PDE的参数以计算降低的订单近似值。该方法适用于高速流条件的稳态EULER方程(Mach 10-30),在该方程式中,我们考虑了围绕圆柱体的2D流,从而形成了冲击条件。然后,我们将NBF预测用作高保真计算流体动力学(CFD)求解器(CFD ++)的初始条件,以显示更快的收敛性。还将介绍用于培训和实施该算法的经验教训。
translated by 谷歌翻译
在随机子集总和问题中,给定$ n $ i.i.d.随机变量$ x_1,...,x_n $,我们希望将[-1,1] $ in [-1,1] $的任何点$ z \作为合适子集的总和$ x_ {i_1(z)},...,x_ {i_s(z)} $的$,最多$ \ varepsilon $。尽管有简单的陈述,但这个问题还是理论计算机科学和统计力学的基本兴趣。最近,它因其在人工神经网络理论中的影响而引起了人们的重新关注。该问题的一个明显的多维概括是考虑$ n $ i.i.d. \ $ d $ - 二维随机向量,目的是近似于[-1,1]^d $的每个点$ \ Mathbf {z} \。令人惊讶的是,在Lueker的1998年证明,在一维设置中,$ n = o(\ log \ frac 1 \ varepsilon)$ samples $ samples $ samples具有很高可能性的近似属性,在实现上述概括方面几乎没有进展。在这项工作中,我们证明,在$ d $ dimensions中,$ n = o(d^3 \ log \ frac 1 \ varepsilon \ cdot(\ log \ frac 1 \ frac 1 \ varepsilon + log d d))$ samples $ sample近似属性具有很高的概率。作为强调该结果潜在兴趣的应用程序,我们证明了最近提出的神经网络模型表现出\ emph {通用}:具有很高的概率,该模型可以在参数数量中近似多项式开销中的任何神经网络。
translated by 谷歌翻译
离子液体(ILS)是可持续过程的重要溶剂,并且需要预测IL中溶质的活性系数(AC)。最近,矩阵完成方法(MCM),变压器和图神经网络(GNN)在预测二元混合物的AC方面表现出很高的精度,例如宇宙RS和UNIFAC优于公认的模型。 GNN在这里特别有希望,因为他们学习了分子图到特性的关系,而无需预处理,通常是变压器所需的,并且与MCMS不同,适用于不包括训练中不包括的分子。但是,对于ILS,目前缺少GNN应用程序。在此,我们提出了一个GNN,以预测IL中溶质的温度依赖性无限稀释液。我们在包括40,000多个AC值的数据库上训练GNN,并将其与最先进的MCM进行比较。 GNN和MCM实现了类似的高预测性能,GNN还可以对培训期间未考虑的IL和溶质的AC进行高质量的预测。
translated by 谷歌翻译